在联邦学习（FL）中，一群工人参与在一个节点的协调下建立一个全球模型，主任。关于FL的网络安全，一些攻击旨在将所制作的本地模型更新注入系统。一些防御是基于恶意工人检测和行为模式分析。在这种情况下，没有及时和动态的监控方法，酋长无法检测和从系统中删除恶意或不可靠的工人。我们的工作强调了准备联邦学习过程的紧迫性，以便监测和最终行为模式分析。我们研究了在培训的早期阶段内学习过程内的信息，提出了监测过程并评估所需的监测期。目的是在开始检测算法的时间内分析，以便从系统中删除恶意或不可靠的工人并优化防御机制部署。我们在应用于文本和图像分类的不同基准系统的流行模式下对行为模式分析防御进行了测试。我们的研究结果表明，监控过程降低了误报和假阴性，从而通过使分布式学习系统能够在培训的早期阶段实现更好的性能来提高系统效率。
translated by 谷歌翻译
我们提供了证据表明，学到的密度功能理论（``dft'）的力场已准备好进行基态催化剂发现。我们的关键发现是，尽管预测的力与地面真相有很大差异，但使用从超过50 \％的评估系统中使用RPBE功能的能量与使用RPBE功能相似或较低能量的力量的力量与使用RPBE功能相似或较低的力量放松。这具有令人惊讶的含义，即学习的潜力可能已经准备好在挑战性的催化系统中替换DFT，例如在Open Catalyst 2020数据集中发现的电位。此外，我们表明，在局部谐波能量表面上具有与目标DFT能量相同的局部谐波能量表面训练的力场也能够在50 \％的情况下找到较低或相似的能量结构。与在真实能量和力量训练的标准模型相比，这种``简易电位''的收敛步骤更少，这进一步加速了计算。它的成功说明了一个关键：即使模型具有高力误差，学到的电位也可以定位能量最小值。结构优化的主要要求仅仅是学到的电位具有正确的最小值。由于学到的电位与系统大小的速度快速且尺寸为线性，因此我们的结果开辟了快速找到大型系统基础状态的可能性。
translated by 谷歌翻译
尽管深度算法音乐生成的进步，但生成样本的评估通常依赖于人类评估，这是主观和昂贵的。我们专注于设计一个均匀的客观框架，用于评估算法生成的音乐样本。评估生成音乐的任何工程措施通常都会尝试定义样本的音乐性，但不会捕获音乐的品质，例如主题或情绪。我们不寻求评估生成音乐的音乐优点，而是探索生成的样本是否包含有关情绪或情绪/主题的有意义的信息。我们通过测量与生成的样本增强其培训数据后测量音乐情绪/主题分类器的预测性能的变化来实现这一目标。我们分析三个模型生成的音乐样本 - Samplernn，Jukebox和DDSP - 并在所有方法中使用同类框架，以允许客观的比较。这是第一次尝试使用有条件生成的音乐增强音乐类型分类数据集。我们使用深度音乐生成和发电机通过使用数据集的额外情感注释来制作情绪音乐的能力来调查分类性能改进。最后，我们使用在真实数据上培训的分类器来评估类条件生成的样本的标签有效性。
translated by 谷歌翻译
具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。
translated by 谷歌翻译
培训大型神经网络架构的快速增长带来了对划分策略的需要，例如通过使用数据，模型或管道并行性。通过程序基元越来越多地支持这些方法，但识别有效的分区策略需要昂贵的实验和专业知识。我们介绍了自动分区器的原型，它无缝集成到现有的编译器和现有用户工作流中。我们的分区使SPMD风格的并行性能够包含数据并行性和参数/激活分片。通过归纳策略和在平台独立的分区IR中搜索的组合，Automap可以恢复用于变压器层的专家分区策略，如Megatron分片。
translated by 谷歌翻译
Here we present a machine learning framework and model implementation that can learn to simulate a wide variety of challenging physical domains, involving fluids, rigid solids, and deformable materials interacting with one another. Our framework-which we term "Graph Network-based Simulators" (GNS)-represents the state of a physical system with particles, expressed as nodes in a graph, and computes dynamics via learned message-passing. Our results show that our model can generalize from single-timestep predictions with thousands of particles during training, to different initial conditions, thousands of timesteps, and at least an order of magnitude more particles at test time. Our model was robust to hyperparameter choices across various evaluation metrics: the main determinants of long-term performance were the number of message-passing steps, and mitigating the accumulation of error by corrupting the training data with noise. Our GNS framework advances the state-of-the-art in learned physical simulation, and holds promise for solving a wide range of complex forward and inverse problems.
translated by 谷歌翻译